La Leçon 5 marque un tournant décisif dans COMP5511. Nous nous éloignons de la logique déterministe de l'informatique classique et de la certitude supervisée des premiers modèles de classification pour entrer dans le cœur probabiliste de l'IA générative. Dans cette session, nous explorons pourquoi les modèles d'IA modernes ne produisent pas des « faits » mais plutôt des distributions de probabilité, en dévoilant les mécanismes qui permettent aux LLM d'écrire de la poésie et aux modèles de diffusion de peindre à partir du bruit.

1. Le changement de paradigme : de la logique à la probabilité

• Au-delà de SI-ALORS : passer de règles rigides à des vraisemblances statistiques fluides.
• La fin de la certitude : comprendre pourquoi les résultats de l'IA générative sont non déterministes par conception.
• La probabilité comme outil : comment « l'ère de l'IA générative » considère l'incertitude comme une fonctionnalité pour la créativité plutôt que comme un bug à corriger.

2. Les moteurs probabilistes de la création

L'IA générative repose sur l'échantillonnage d'espaces de probabilité de haute dimension. Qu'il s'agisse de générer du texte ou des images, le modèle navigue dans l'incertitude pour produire de la nouveauté :

• Grands modèles de langage (LLM) : prédire le prochain jeton non pas comme un choix unique, mais comme une distribution de possibilités.
• Modèles de diffusion : l'art de reconstituer l'ordre à partir d'un bruit gaussien.
• Le processus d'échantillonnage : comment l'aléatoire est exploité pour éviter les sorties répétitives et « robotiques ».

3. Les agents dans des mondes imprévisibles

Les agents autonomes doivent naviguer dans des «mondes ouverts» où chaque action comporte un degré de risque et de récompense inconnus.